
/*
	爬虫demo
	superagent(http://visionmedia.github.io/superagent/ ) 是个 http 方面的库，可以发起 get 或 post 请求。
	cheerio(https://github.com/cheeriojs/cheerio ) 可以理解成一个 Node.js 版的 jquery，用来从
	网页中以 css selector 取数据，使用方式跟 jquery 一样一样的。
	cheerio的回调函数的参数sres的sres.text 里面存储着网页的 html 内容，将它传给 cheerio.load 之后
    就可以得到一个实现了 jquery 接口的变量，我们习惯性地将它命名为 `$`
    剩下就都是 jquery 的内容了
	
*/

const express  = require('express');

const superagent = require('superagent');

const cheerio = require('cheerio');

const app = express();

const port = '3000';

const ajaxUrl = 'https://cnodejs.org/';

// const ajaxUrl = 'https://www.itouzi.com/';

app.get('/',(req,res,next) => {

	superagent.get(ajaxUrl).then((sres)=>{

		let $ = cheerio.load(sres.text);

		let items = [];

		/*$('#topic_list .topic_title').each( (index, el) => {

			items.push({

				"title":$(el).attr('title'),

				"href":$(el).attr('href')

			});

		});

		res.send(items);*/
		res.send(sres.text);

	}, (err)=>{

		console.log(err)

	})

})

app.listen(port,()=>{ //此回调不接收参数

	console.log('server is running，this demo is The crawler');

});

